package org.example.controller;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;

//实现页面分析的业务逻辑
public class MyPageProcessor implements PageProcessor {
//    页面分析
//    下载的结果封装成page对象
//    可以从page对象中获得下载的结果
    public void process(Page page) {
        Html html = page.getHtml();
        String string = html.toString();
//        ResultItems resultItems = page.getResultItems();
//        resultItems.put("html",string);
        page.putField("html",  string);
    }

//    返回一个site对象
//    site就是站点的配置
//    返回默认配置使用Site.me()创建一个Site对象
    public Site getSite() {
        return Site.me();
    }

    public static void main(String[] args) {
        Spider.create(new MyPageProcessor())
//                设置起始的url
                .addUrl("http://139.186.167.6:49082/user/login")
//                  启动爬虫  run同步方法 在当前线程中执行
//                           .start   在新线程中启动爬虫
                .run();
    }

}
